我在googlen-grams数据集上对pig运行了以下命令:inp=LOAD'linktofile'AS(ngram:chararray,year:int,occurences:float,books:float);filter_input=FILTERinpBY(occurences>=400)AND(books>=8);groupinp=GROUPfilter_inputBYngram;sum_occ=FOREACHgroupinpGENERATEFLATTEN(group)asngram,SUM(filter_input.occurences)/SUM(filter_input
我有一个具有以下结构的数据-1约翰美国2玛丽CN3史密斯美国4约翰美国5玛丽CN我需要在每个国家/地区找到重复的名称。结果应该是这样的{US:(1,John,US),(4,John,US)}{CN:(2,Mary,CN),(5,Mary,CN)}。有人可以帮我用Pig脚本来解决我的问题吗？我能够加载数据并按国家/地区名称对其进行分组。 最佳答案 我假设您有以下格式的输入:1JohnUS2MaryCN3SmithUS4JohnUS5MaryCN在这种情况下，您可以提出以下建议:A=load'data.txt'usingPigStora
我有一个中间pig结构(A,B,(n.无Cs))示例:(a1,b1,(c11,c12))(a2,b2,(c21))(a3,b3,(c31,c32,c33))现在，我想要格式的数据(a1,b1,c11)(a1,b2,c12)(a2,b2,c21)etc.我该怎么做？基本上我想要元组的大小，然后使用这个大小来运行嵌套的for循环。 最佳答案 你能试试下面的方法吗？输入a1b1(c11,c12)a2b2(c21)a3b3(c31,c32,c33)PigScript:A=LOAD'input'AS(f1,f2,T:(f3:chararray
我的Pig的一个过滤器功能有问题。但首先，我会告诉你上下文。A=LOAD'pig/hado/start_extrait2.csv'USINGPigStorage(';')as(DAT_START:chararray,COD_IPUSER:chararray,NDI_START:chararray);hado_search_file=LOAD'pig/hado/recherche_hado.csv'USINGPigStorage(';')as(DATE_HADO:chararray,IP_RECHERCHEE:chararray);result2=JOINhado_search_file
我想使用pig脚本将以下元组拆分为两个元组。(key=bb7bde5661923b947ce59958773e85c5\,\/css\/bootstrap.min.cssHTTP\/1.1\,\/con-us.php,\/con-us.phpHTTP\/1.1\)我想要的输出如下:(key=bb7bde5661923b947ce59958773e85c5\)(\/css\/bootstrap.min.cssHTTP\/1.1\,\/con-us.php,\/con-us.phpHTTP\/1.1\) 最佳答案 是的，您可以使用REG
我是Julia语言的新手，觉得它很有趣。正如它所说的那样，它已经准备好hadoop我想使用我的本地hadoop集群来测试它。我在我的debian32位机器上安装了最新版本的julia，并编写了一些简单的脚本，类似于Helloworld之类的东西。现在，我已经从下面的站点中提取了HDFS和YARN接口(interface)包https://github.com/JuliaParallel/HDFS.jlhttps://github.com/JuliaParallel/Elly.jl不知道如何在我的机器上安装这些并使用这些包来查询HDFS集群并运行一些map-reduce任务。任何指针在这
我试图为我尝试使用JsonLoader加载的一些数据指定模式，我要上传的数据的格式为Features:["Speedy","New","Automatic",..]对于每条记录，特征的数量不是固定的，它可以不同。我在模式中将其表示为:Features:bag{a:tuple(t:chararray)}但是它不起作用。有人可以用正确的语法帮助我并指出我错在哪里吗？ 最佳答案 字段名称规范是不必要的，因为您有没有任何字段名称的简单数组。试试这个:a=load'a.json'usingJsonLoader('value:int,featu
基于Hadoop-权威指南中的wordcount示例，我开发了一个mapreduce作业来计算无序字符串元组的出现次数。输入看起来像这样(只是更大):abccddbaaddd运行mapreduce我希望输出是(对于这个例子):cc1dd1ab2ad1dd1这意味着，我希望元组a,b和b,a被认为是相同的。这个问题已经在这里问过:HadoopMapReduce:TwovaluesaskeyinMapper-Reducer可能在这里解决了https://developer.yahoo.com/hadoop/tutorial/module5.html#keytypes.对于大型输入文件，我得
我有一个名为data的文件，它看起来像这样:(注意“personA”之后有制表符)personA(1,2,3)personB(2,1,34)我有一个像这样的Apachepig脚本:A=LOAD'data'AS(name:chararray,nodes:tuple(a:int,b:int,c:int));C=foreachAgeneratenodes.$0;dumpC;其输出有意义:(1)(2)但是，如果我将脚本的架构更改为如下所示:A=LOAD'data'AS(name:chararray,nodes:tuple());C=foreachAgeneratenodes.$0;dumpC;
文件内容(test.txt):Somespecificcolumnvalue:x192.168.1.2blahblahSomespecificrowvalue:y192.168.1.3blahblahSomespecificfieldvalue:z192.168.1.4blahblahpig查询:A=LOAD'test.txt'USINGPigStorage('\t')AS(data1:chararray,data2:chararray,data3:chararray,data4:chararray,data5:chararray,data6:chararray);B=foreachA
